- 综合排序
- 最热优先
- 最新优先
- 来自专栏ClickHouse 源码解析
ClickHouse 源码解析（三）：SQL 的一生（下）
基于 ClickHouse version 22.10.1 学习并写下 ClickHouse 源码解析系列。由于 CK 版本迭代很快，可能导致代码可能有些出入，但是整体流程大差不差吧。 由于源码阅读过于枯燥，并且不太利于后续复习，所以在逻辑梳理时，我会使用思维导图或者流程图的方式来描述类与类之间的调用逻辑，后半部分会挑出核心的源码去分析。 ----概述上一篇ClickHouse 源码解析（二）：SQL 的一生（中）在源码解析部分分析了 ExecutingGraph 的初始化流程，并且在文末画了调度节点状态轮转图，可以直观的看到一个节点是如何从 那么本篇我们紧接着从源码的角度去学习 ExecutingGraph 是如何被调度的，节点状态是如何在其中轮转的。逻辑梳理为了方便复习，先挂上之前画的思维导图。 ClickHouse 源码解析（一）：SQL 的一生（上） 我们聚焦于执行 Pipeline 这部分，学习 SelectQuery 的调度流程。
1.7K31编辑于 2022-12-19 - 来自专栏ClickHouse 源码解析
ClickHouse 源码解析（二）：SQL 的一生（中）
基于 ClickHouse version 22.10.1 学习并写下 ClickHouse 源码解析系列。由于 CK 版本迭代很快，可能导致代码可能有些出入，但是整体流程大差不差吧。 由于源码阅读过于枯燥，并且不太利于后续复习，所以在逻辑梳理时，我会使用思维导图或者流程图的方式来描述类与类之间的调用逻辑，后半部分会挑出核心的源码去分析。 在源码解析部分对 SelectQuery 这类查询语句如何构建 QueryPipeline 进行了分析。 ClickHouse 源码解析（一）：SQL 的一生（上） 我们聚焦于执行 Pipeline 这部分，学习 SelectQuery 的调度流程。 源码解析上面内容大致了解了ExecutingGraph调度流程，接下来我们深入源码去学习 Graph 的节点初始化和 Graph 的调度。
2K41编辑于 2022-11-18 - 来自专栏clickhouse入门
ClickHouse(07)ClickHouse数据库引擎解析
建表语句DDL详细解析ClickHouse(07)ClickHouse数据库引擎解析ClickHouse(08)ClickHouse表引擎概况ClickHouse(09)ClickHouse合并树MergeTree 家族表引擎之MergeTree详细解析ClickHouse(10)ClickHouse合并树MergeTree家族表引擎之ReplacingMergeTree详细解析ClickHouse(11)ClickHouse ClickHouse(16)ClickHouse日志表引擎Log详细解析ClickHouse(17)ClickHouse集成JDBC表引擎详细解析ClickHouse(18)ClickHouse集成ODBC 表引擎详细解析ClickHouse(19)ClickHouse集成Hive表引擎详细解析ClickHouse(20)ClickHouse集成PostgreSQL表引擎详细解析ClickHouse(21) ClickHouse集成Kafka表引擎详细解析ClickHouse(22)ClickHouse集成HDFS表引擎详细解析ClickHouse(23)ClickHouse集成Mysql表引擎详细解析
97710编辑于 2024-03-10 - 来自专栏clickhouse入门
ClickHouse(18)ClickHouse集成ODBC表引擎详细解析
ODBC集成表引擎使得ClickHouse可以通过ODBC方式连接到外部数据库.为了安全地实现 ODBC 连接，ClickHouse 使用了一个独立程序 clickhouse-odbc-bridge. 如果ODBC驱动程序是直接从 clickhouse-server中加载的，那么驱动问题可能会导致ClickHouse服务崩溃。 当有需要时，ClickHouse会自动启动 clickhouse-odbc-bridge。 ODBC桥梁程序与clickhouse-server来自相同的安装包.该引擎支持Nullable数据类型。 默认情况下（如果从软件包安装），ClickHouse以用户clickhouse的身份启动. 因此，您需要在MySQL服务器中创建并配置此用户。 (18)ClickHouse集成ODBC表引擎详细解析
49720编辑于 2024-05-31 - 来自专栏clickhouse入门
ClickHouse(16)ClickHouse日志表引擎Log详细解析
在读取数据时，ClickHouse 使用多线程。 每个线程处理不同的数据块。 Log 引擎为表中的每一列使用不同的文件。StripeLog 将所有的数据存储在一个文件中。 对每一次 Insert 请求，ClickHouse 将数据块追加在表文件的末尾，逐列写入。 ClickHouse 为每张表写入以下文件： data.bin — 数据文件。 读数据 {#table_engines-stripelog-reading-the-data} 带标记的文件使得 ClickHouse 可以并行的读取数据。 ClickHouse 在查询数据时使用多线程。每个线程读取单独的数据块并在完成后独立的返回结果行。这样的结果是，大多数情况下，输出中块的顺序和输入时相应块的顺序是不同的。 from_column=20421&from=20421 来源文章：ClickHouse(16)ClickHouse日志表引擎Log详细解析
63110编辑于 2024-05-30 - 来自专栏clickhouse入门
ClickHouse(17)ClickHouse集成JDBC表引擎详细解析
要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。该引擎支持Nullable数据类型。 jdbc_table(`int_id`, `float`)SELECT toInt32(number), toFloat32(number * 1.0)FROM system.numbersJDBC表函数clickhouse 它与建表集成一样，需要clickhouse-jdbc-bridge程序才能运行。它支持可空类型（基于查询的远程表的DDL）。 datasource_column', 'show databases') b ON a.Database = b.name来源文章：ClickHouse(17)ClickHouse集成JDBC表引擎详细解析
73420编辑于 2024-05-30 - 来自专栏clickhouse入门
ClickHouse(19)ClickHouse集成Hive表引擎详细解析
<bytes_read_before_flush>1048576</bytes_read_before_flush></local_cache_for_remote_fs>enable: 开启后，ClickHouse 中建表ClickHouse中的表，从上面创建的Hive表中获取数据:CREATE TABLE test.test_orc( `f_tinyint` Int8, `f_smallint` Int16 中建表ClickHouse 中的表， 从上面创建的Hive表中获取数据:CREATE TABLE test.test_parquet( `f_tinyint` Int8, `f_smallint 中建表ClickHouse中的表， 从上面创建的Hive表中获取数据:CREATE TABLE test.test_text( `f_tinyint` Int8, `f_smallint` (19)ClickHouse集成Hive表引擎详细解析
53020编辑于 2024-06-03 - 来自专栏clickhouse入门
ClickHouse(20)ClickHouse集成PostgreSQL表引擎详细解析
ClickHouse尝试将数值映射到ClickHouse的数据类型。设置 external_table_functions_use_nulls 来定义如何处理 Nullable 列. 所有的连接、聚合、排序、IN [ array ]条件和LIMIT采样约束都是在 PostgreSQL 的查询结束后才在ClickHouse中执行的。 PostgreSQL 的 Array 类型会被转换为 ClickHouse 数组。 ', 'nice.table', 'postgrsql_user', 'password', 'nice.schema');来源文章： ClickHouse(20)ClickHouse集成PostgreSQL 表引擎详细解析
87420编辑于 2024-06-04 - 来自专栏clickhouse入门
ClickHouse(21)ClickHouse集成Kafka表引擎详细解析
kafka_schema – 如果解析格式需要一个 schema 时，此参数必填。kafka_num_consumers – 单个表的消费者数量。 ClickHouse可以接受和返回各种格式的数据。 以下kafka_format是支持的格式,ClickHouse可以接受和返回各种格式的数据。 配置与 GraphiteMergeTree 类似，Kafka 引擎支持使用ClickHouse配置文件进行扩展配置。可以使用两个配置键：全局 (kafka) 和 主题级别 (kafka_*)。 clickhouse也支持自己使用keyfile的方式来维护kerbros的凭证。
98020编辑于 2024-06-07 - 来自专栏云数据仓库 ClickHouse
ClickHouse源码导读：网络IO
通过源码，发现ClickHouse的网络模型与 **1 Master线程/N Worker线程+非阻塞IO**模型类似，但有自己的特点。主要区别是，Worker线程并没有事件循环。 对于ClickHouse并未使用的网络模型，不在本文讨论范围内。 3. ClickHouse 网络IO设计 ClickHouse-Server支持多种协议，其中包括TCP、HTTP/HTTPS等。 代码追踪到这来，我们是知道 ClickHouse 网络IO处理的大概了，能够知道业务逻辑入口了。如果只想分析 ClickHouse 自身逻辑， 完全可由此打住，去分析 ClickHouse 代码。 结束 ClickHouse是一款优秀的开源OLAP数据库。分析其源码，有助于在生产环境中，更好地使用它。 本文梳理ClickHouse网络IO的设计与实现，通过关键代码片段，剖析其网络IO的内部原理。 这有助于加深对ClickHouse原理的理解。 更多ClickHouse技术交流问题，请留言，拉您进入ClickHouse技术交流群。
1.4K43发布于 2020-08-26 - 来自专栏公有云大数据平台弹性 MapReduce
ClickHouse源码导读：网络IO
通过源码，发现ClickHouse的网络模型与 **1 Master线程/N Worker线程+非阻塞IO**模型类似，但有自己的特点。主要区别是，Worker线程并没有事件循环。 对于ClickHouse并未使用的网络模型，不在本文讨论范围内。 3. ClickHouse 网络IO设计 ClickHouse-Server支持多种协议，其中包括TCP、HTTP/HTTPS等。 代码追踪到这来，我们是知道 ClickHouse 网络IO处理的大概了，能够知道业务逻辑入口了。如果只想分析 ClickHouse 自身逻辑， 完全可由此打住，去分析 ClickHouse 代码。 结束 ClickHouse是一款优秀的开源OLAP数据库。分析其源码，有助于在生产环境中，更好地使用它。 本文梳理ClickHouse网络IO的设计与实现，通过关键代码片段，剖析其网络IO的内部原理。 这有助于加深对ClickHouse原理的理解。 更多ClickHouse技术交流问题，请留言，拉您进入ClickHouse技术交流群。
2.8K157发布于 2020-03-23 - 来自专栏clickhouse入门
ClickHouse(24)ClickHouse集成mongodb表引擎详细解析
host:port — MongoDB 服务器地址.database — 数据库名称.collection — 集合名称.user — MongoDB 用户.password — 用户密码.用法示例ClickHouse key UInt64, data String) ENGINE = MongoDB('mongo1:27017', 'test', 'simple_table', 'testuser', 'clickhouse ');查询:SELECT COUNT() FROM mongo_table;┌─count()─┐│ 4 │└─────────┘来源文章：ClickHouse(24)ClickHouse集成 mongodb表引擎详细解析
38220编辑于 2024-06-23 - 来自专栏clickhouse入门
ClickHouse(22)ClickHouse集成HDFS表引擎详细解析
HDFS这个引擎提供了与Apache Hadoop生态系统的集成，允许通过ClickHouse管理HDFS上的数据。这个引擎提供了Hadoop的特定功能。 clickhouse支持的format，文件格式:格式 HDFS('hdfs://hdfs1:9000/big_dir/file{0..9}{0..9}{0..9}', 'CSV')配置与 GraphiteMergeTree 类似，HDFS 引擎支持使用 ClickHouse -- HDFS 引擎类型的全局配置选项 --> <hdfs> <hadoop_kerberos_keytab>/tmp/keytab/clickhouse.keytab</hadoop_kerberos_keytab 来源文章：ClickHouse(22)ClickHouse集成HDFS表引擎详细解析
51620编辑于 2024-06-10 - 来自专栏clickhouse入门
ClickHouse(23)ClickHouse集成Mysql表引擎详细解析
其余条件以及LIMIT采样约束语句仅在对MySQL的查询完成后才在ClickHouse中执行。 port', 'database', 'table', 'user', 'password'[, replace_query, 'on_duplicate_clause'])limit 1000;文章来源：ClickHouse (23)ClickHouse集成Mysql表引擎详细解析
49020编辑于 2024-06-11 - 来自专栏clickhouse入门
ClickHouse(06)ClickHouse建表语句DDL详细解析
(06)ClickHouse建表语句DDL详细解析ClickHouse(07)ClickHouse数据库引擎解析ClickHouse(08)ClickHouse表引擎概况ClickHouse(09)ClickHouse 详细解析ClickHouse(13)ClickHouse合并树MergeTree家族表引擎之CollapsingMergeTree详细解析ClickHouse(14)ClickHouse合并树MergeTree ClickHouse(16)ClickHouse日志表引擎Log详细解析ClickHouse(17)ClickHouse集成JDBC表引擎详细解析ClickHouse(18)ClickHouse集成ODBC 表引擎详细解析ClickHouse(19)ClickHouse集成Hive表引擎详细解析ClickHouse(20)ClickHouse集成PostgreSQL表引擎详细解析ClickHouse(21) ClickHouse集成Kafka表引擎详细解析ClickHouse(22)ClickHouse集成HDFS表引擎详细解析ClickHouse(23)ClickHouse集成Mysql表引擎详细解析
1.5K20编辑于 2024-03-09 - 来自专栏大数据引擎源码阅读
Clickhouse Optimize Table全面解析
Optimize Table命令的介绍资料很少，因此笔者决定结合源码，全面解析下Optimize Table命令。 Optimize Table执行过程源码解析 Clickhouse在收到一个SQL语句后，会通过如下的流程执行SQL：Parser（解析SQL语法，转化为AST）-> Interpreter（优化生成执行计划 image.png Clickhouse收到Optimize Table命令后会调用到ParserOptimizeQuery::parseImpl()解析命令。 接下来对照源码，看看这些关键词如何控制合并执行。 参考文献 [1] ClickHouse 源码阅读 —— 详解查询SQL语句执行过程. https://nowjava.com/article/43828 [2] Clickhouse docs. https
18.1K247发布于 2021-10-14 - 来自专栏Flink实战剖析
Clickhouse-MergeTree原理解析
MergeTree原理解析 表引擎是ClickHouse设计实现中的一大特色。可以说，是表引擎决定了一张数据表最终的“性格”，比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 ClickHouse拥有非常庞大的表引擎体系，截至本书完成时，其共拥有合并树、外部存储、内存、文件、接口和其他6大类20多种表引擎。 以小见大，这也是ClickHouse为何性能如此出众的深层原因之一。 MarkRange在ClickHouse中是用于定义标记区间的对象。 通过ClickHouse提供的clickhouse-compressor工具，能够查询某个．bin文件中压缩数据的统计信息。
1.7K50编辑于 2022-04-18 - 来自专栏HappenLee的技术杂谈
ClickHouse源码笔记5:聚合函数的源码再梳理
笔者在源码笔记1之中分析过ClickHouse的聚合函数的实现，但是对于各个接口函数的实际如何共同工作的源码，回头看并没有那么明晰，主要原因是没有结合Aggregator的类来一起分析聚合函数的是如果工作起来的 所以决定重新再完成一篇聚合函数的源码梳理的文章，帮助大家进一步的理解ClickHouse之中聚合函数的工作原理。 本系列文章的源码分析基于ClickHouse v19.16.2.2的版本。 （这部分有许多模板派生的复杂代码，建议与源码结合梳理才能事半功倍~~） 3.要点梳理 第二小节解析了一个聚合函数与接口意义对应的流程，这里重点梳理聚合函数实现的源码要点： 各个聚合函数核心的实现add, 小结 好了，到这里也就把ClickHouse聚合函数部分的代码梳理完了。 除了sum函数外，其他的函数的执行也是同样通过类似的方式依次来实现和处理的，源码阅读的步骤也可以参照笔者的分析流程来参考。 笔者是一个ClickHouse的初学者，对ClickHouse有兴趣的同学，欢迎多多指教，交流。 5. 参考资料 官方文档 ClickHouse源代码
1.1K30发布于 2021-04-20 - 来自专栏HappenLee的技术杂谈
ClickHouse源码笔记5:聚合函数的源码再梳理
笔者在源码笔记1之中分析过ClickHouse的聚合函数的实现，但是对于各个接口函数的实际如何共同工作的源码，回头看并没有那么明晰，主要原因是没有结合Aggregator的类来一起分析聚合函数的是如果工作起来的 所以决定重新再完成一篇聚合函数的源码梳理的文章，帮助大家进一步的理解ClickHouse之中聚合函数的工作原理。 本系列文章的源码分析基于ClickHouse v19.16.2.2的版本。 （这部分有许多模板派生的复杂代码，建议与源码结合梳理才能事半功倍~~） 3.要点梳理 第二小节解析了一个聚合函数与接口意义对应的流程，这里重点梳理聚合函数实现的源码要点： 各个聚合函数核心的实现add, 小结 好了，到这里也就把ClickHouse聚合函数部分的代码梳理完了。 笔者是一个ClickHouse的初学者，对ClickHouse有兴趣的同学，欢迎多多指教，交流。 5. 参考资料 官方文档 ClickHouse源代码
1.4K20发布于 2021-04-23 - 来自专栏数据库和大数据技术原理解析
ClickHouse 入门：数据查询流程解析
一、ClickHouse 数据组织形式 1.1 ClickHouse 集群、分片、副本含义 一个 ClickHouse 集群是通过分片组成。 ClickHouse 分片你可以理解为就是 ClickHouse 一个单机数据库实例（副本节点也算），多个这种单机数据库实例构成一个 ClickHouse 集群。 首先，ClickHouse 会有数据根目录，假设数据根目录为： /data/clickhouse/data 现在用户创建了一个数据库为 lake 的数据库，那么在这个根目录创建一个为 lake的目录： 关于分区后面数字的解析，具体细节，可以参见《ClickHouse 原理解析与应用实践》6.2.2 章节。 请求节点根据用户的查询逻辑，合并最终的结果，并返回给 ClickHouse 代理。 最终，ClickHouse 代理将结果返回给客户端，业务层进行数据的使用。
3.3K10编辑于 2022-06-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号